LIME (local interpretable model-agnostic explanations)

local interpretable model-agnostic explanations

Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin “"Why Should I Trust You?": Explaining the Predictions of Any Classifier” 2016/8/9

機械學習モデルは廣く普及してゐるにもかかはらず、その內部動作は依然として「ブラックボックス」狀態にある。豫測結果の根據を理解することは、特にその豫測に基づいて行動を決定しようとする場合や、新たなモデルを導入するか否かを判斷する際に極めて重要である。このやうな理解はモデルの特性を把握する上で有益であり、信賴性の低いモデルや豫測を信賴できるものへと改善するための手がかりを提供する。本硏究では、豫測結果を解釋可能かつ忠實に說明する新たな手法「LIME (local interpretable model-agnostic explanations)」を提案する。この手法は、豫測値周辺において解釋可能なモデルを局所的に學習することで實現される。さらに、代表的な個別豫測とその說明を冗長性なく提示することでモデルを說明する手法も提案する。この問題設定を部分モジュラー最適化問題として定式化した。テキスト分類モデル (例 : random forest) や畫像分類モデル (例 : neural network) など、多樣なモデルに對してこれらの手法の汎用性を實證する。シミュレーション實驗と人閒被驗者を對象とした實驗を通じて、豫測の信賴性判斷、モデル選擇、信賴性の低い分類器の改善、分類器の信賴性缺如の原因特定など、信賴性が要求される樣々なシナリオにおいて說明手法の有用性を實證する。

Local Interpretable Model-agnostic Explanations — InterpretML documentation

LIME (local interpretable model-agnostic explanations) は、ブラックボックス型モデルの豫測空閒周圍に代理モデル (グラスボックスモデル) を構築する手法である。LIME (local interpretable model-agnostic explanations) は特に、任意の豫測値周邊の局所領域を詳細にモデル化することを目的としてをり、充分に狹い決定境界に焦點を當てることで、單純な線形モデルであってもブラックボックスモデルの擧動を良好に近似することが可能となる。ユーザーはこのグラスボックスモデルを分析することで、ブラックボックスモデルが特定の領域においてどのように動作するかを理解することができる。

LIME (local interpretable model-agnostic explanations) の動作原理は、個々のデータポイントを攝動させ、その結果として生成される合成データセットをブラックボックスシステムで評價することにある。得られたデータは最終的に、グラスボックスモデルの學習データとして使用される。LIME (local interpretable model-agnostic explanations) の主な利點は、線形モデルを扱ふ場合と同樣の直感的な方法で說明を解釋できる點にあり、さらにほぼあらゆる種類のモデルに適用可能である點が特徵である。一方で、生成される說明には時折不安定性が見られ、特に攝動處理の方法に強く依存するといふ課題も存在する。

≠SHAP (Shapley additive explanations)